超级人工智能毁灭人类，还是让人类永生？科学家说或许我们能看到这一天。
如果你站在这里，会是什么感觉？
看上去非常刺激？是吧。
但是记住，你是看不见未来的，你的真实感觉其实是：
这就是蒂姆•厄班(Tim Urban)的文章《超级人工智能之路》的开篇。（本文主要素材来源于此文，载于《读库》1503）
未来学家雷•库兹韦尔（Ray Kurzweil）把人类的加速发展称为加速回报定律。一个人如果去到未来，并且被未来的情景吓尿，需要满足一个“吓尿单位”，在狩猎采集需要10万年，而工业革命后一个吓尿单位，只要200多年就能满足。
如果库兹韦尔的定律是正确的，在S型的学习曲线上，我们进入了一个指数增长阶段，以前几个世纪的进步，我们只需要几十年就能完成，而以后我们可能只需要几年，几个月，甚至几天就能完成。
那就是说，我们的未来会非常有趣，到了2030年，世界就会把我们吓尿了，而到了2050年，世界就会变得面目全非。
你可能会觉得这句话很可笑，但这不是科幻，而是比你我聪明很多的科学家预测的。其中包括数学家、计算机学家兼硬科幻小说作家弗诺·文奇，创立了太阳微系统公司的美国计算机科学家比尔·乔伊，科学家兼美国通用人工智能会议主席本·戈策尔，曾发明了盲人阅读机、音乐合成器和语音识别系统，并在1990年出版的《智能机器的时代》成功地预言了电脑将在1998年战胜棋王的库兹韦尔。
这个关键点是超人工智能的出现，也就是“我们什么时候踩到绊线”，从而触动历史的转折点。
先来弄清什么是人工智能。约翰•麦卡锡在1956年最早使用了“人工智能”（Artificial Intelligence ——AI）这个词。
而更早，在二战期间，英国数学家图灵，提出了唯有利用机器才能击败机器的理论，制造出了图灵机，破译了德军的恩尼格码Enigma密码机，使得盟军的胜利至少提前了2年。而后，他又提出了著名的“图灵测试”——“机器能思考吗？”
图灵机，就是计算机的鼻祖。而计算机——电脑，就是人工智能。所以，图灵是计算机和人工智能之父。
我们每天都在使用人工智能: 电脑，智能手机，翻译软件，搜索引擎，扫地机器人。
约翰•麦卡锡抱怨“一旦一样东西用人工智能实现了，人们就不再叫它人工智能了。”
更多的人工智能也来到我们身边：阿尔法狗以4:1击败李世石，证明在需要模糊思维和大局观的围棋领域，机器也是可以战胜人类的。
还有无人驾驶，智慧医疗等等…..
这些人工智能只是弱人工智能,是擅长于单个方面的人工智能。
而下一步，是强人工智能，是指各方面都能和人类比肩的人工智能，人类能干的脑力活它都能干。
接下来，就是超人工智能。牛津哲学家、智能人工思想家尼克•博斯特罗姆把超人工智能定义为：“在几乎任何领域都比最聪明的人类大脑聪明很多，包括科学创新、通讯和社交技能。”
我们现在所处的位置是一个充满了弱人工智能的世界。
弱人工智能并不吓人。最糟糕的情况，无非是代码没写好，程序出故障，造成了单独的灾难，比如造成停电、核电站故障、金融市场崩盘等。
从弱人工智能到强人工智能其实很难，科学家认为通往超人工智能之路的瓶颈是在这里。一些我们觉得困难的事——微积分，金融市场策略，翻译等对于电脑来说很简单，我们觉得容易的事情——视觉、动态、直觉，对于电脑来说却很难。
摩尔定律认为全世界的电脑运算能力每两年就翻一倍，这一定律有历史数据所支持。现在1000美元能买到的电脑，已经达到了人类大脑1/1000的水平。这听起来弱爆了。但是1985年的时候，同样的钱才能买到人脑万亿分之一的CPS，1995年变成了10亿分之一，2005年是百万分之一。
按照这个速度，到2025年，我们就能花1000美元买到可以和人脑运算速度抗衡的电脑了。
但是，仅仅速度增加不能使电脑变得和人类一样智能，怎样模拟人脑思考才是关键。现在有个思路是让我们建造一个能进行两项任务的电脑——研究人工智能和修改自己的代码，这意味着直接把电脑变成了电脑科学家，提高电脑的智能，就变成了电脑自己的任务。
而只要实现了强人工智能，能够自我进化的人工智能，不会停留在“人类水平”这个里程碑站台，而是一闪而过，向超人类级别的智能飞驰而去。留下我们一脸懵逼。
不要低估指数级的增长，每一个弱人工智能的创新，都在给通往强人工智能和超人工智能的旅途上添砖加瓦。用亚伦••萨恩斯的观点：现在的弱人工智能，就是地球早期软泥中的氨基酸——没有动静的物质，突然之间就组成了生命。
至于人类智能和超人类智能的差距，这已经是人类无法理解的范畴。就像草履虫不能理解爱因斯坦。
对于超人工智能的出现，博斯特罗姆认为，我们会面临两个结果——灭绝和永生。
回顾历史，大部分生命都经历了这样的历程：物种出现，存在了一段时间，然后不可避免地跌落下生命的平衡木，跌入灭绝的深渊。
大部分科学家都承认，人工智能有把人类灭绝的能力，但也有一些认为如果运用得当，超人工智能可以帮助人类和其他物种，达到另一个吸引态——永生。
博斯特罗姆认为平衡木外是有两面的，只是至今为止，“所有生物都会灭绝”和“所有人都会死“一样靠谱，这是因为地球上的生命还没有聪明到发现怎样去到永生这另一个吸引态。
现在，科学家已经在认真考虑永生这个事情很可能在我们有生之年就能达成。
这和纳米技术有关。
纳米技术是说在1到100纳米的范围内操纵物质的技术。当我们能够完全掌握纳米技术时，我们离在原子操纵物质就只差一步了。因为那只是一个数量极的差距（约0.1个纳米）。
物理学家费曼在1959年就提出：据我所知，物理学的原理，并不认为在原子级别操纵物质是不可能的。原则上来说，物理学家能够制造出任何化学家能写出来的物质——只要把一个个原子按照化学家写出来的放在一起就好了。
这就是说，在纳米技术的时代，一个物质的成本不再取决于它的稀缺程度或是制造流程的难度，而在于它的原子结构有多复杂。在纳米技术的时代，钻石可能比橡皮擦还便宜。
我们的身体也是原子组成的，衰老只是身体的组成物质用旧了。库兹韦尔提到由Wi-Fi连接的纳米机器人在血液中流动，可以执行很多人类健康相关的任务，包括日常维修、替换死去的细胞等等。如果这项技术能够被完美掌握，这个流程将能使人的身体永远健康，甚至越活越年轻。
超人工智能可以建造一个“年轻机器”，大脑和身体一样，也可以更新。这些听起来很离谱，但身体只是一堆原子罢了，只要超人工智能可以操纵各种原子结构的话，这就完全不离谱。
库兹韦尔还相信人造材料将越来越多地融入人体，人体器官会被先进的机械器官代替，从而可以一直运行。然后我们会重新设计身体，比如可以用自我驱动的纳米机器人代替血红细胞，这样连心脏都可以省了。最终，人类会完全变成人工的。有一天当我们回头看到生物材料时，会觉得人体原来如此low过，居然会被微生物、意外和疾病杀死。
这个说法受到很多人的批评。但是，反对他的人不是说“这些事情不可能发生”，而是“到达超人工智能是很难的”，“低估了超人工智能的坏处。”
科学界中，大部分人认为踩到绊线不是会不会的问题，而是时间早晚的问题。
库库兹韦尔在他的《奇点临近》一书中预测这个时间点将是2045年。
再引入一根轴线：科学家对于超人工智能的态度是悲观还是乐观？极端一点，就是让人类灭亡还是永生这个问题上，大多数人集中在“焦虑大道”的区域。不算极度悲观，但是绝对不乐观。
那究竟是什么让焦虑大道的人们如此焦虑呢？
首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。所以很可能这是个毁灭性的黑天鹅事件，因为对于未知，人类总是过于乐观而低估了危害。
从达尔文的进化论来看，创造比自身聪明的东西也很可能是个致命错误。就好像羊群决定哺育一只小狼，并且觉得小狼长大后会保护羊群。
当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——生存危机。
我们知道的是，人类对于地球的统治教给我们一个道理——智能就是力量。也就是说，一个超人工智能，一旦被创造出来，将是地球有史以来最强大的东西，而所有生物，包括人类，都只能屈居其下——而这一切，有可能在未来几十年就发生。
当一个超人工智能出生的时候，对我们来说就像一个全能的上帝降临地球一般。
这时候我们所关心的就是：这是否会是一个仁慈的上帝？
蒂姆•厄班说其实答案很简单——人工智能和电脑的思考方式一样。我们容易犯的一个错误是，当我们想到非常聪明的人工智能的时候，我们把它拟人化了，因为在人类的视角看来，能够达到人类智能程度的只有人类。要理解超人工智能，我们要明白，它是非常聪明，但是完全异己的东西。
在人类心理中，我们把事情分成道德的和不道德的。但是这两种只存在于人类行为之中。超出人类心理的范畴，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人类的，尤其是那些非生物的事物，默认都是非道德性的。
这就是我们的下一个问题，人工智能的动机是什么？
答案也很简单：我们给人工智能设定的目标是什么，它的动机就是什么。
所以，我们已经建立了前提，就是当有了设定后，一个超人工智能是非道德性的，并且会努力实现它原本的被设定的目标,而这也是人工智能的危险所在了。
当你要实现一个长期目标时，你会先达成几个子目标来帮助你达成最终目标——也就是垫脚石。这些垫脚石的学名叫手段目标(instrumental goal)，而在实现手段目标时候一定是会造成伤害的。
如果人类对机器的控制妨碍了目标达成，超人工智能会毫不犹豫地干掉人类，或象《黑客帝国》里那样，把人类培养在容器里作为自己的能源，然后大脑接上管子创造一个虚拟现实。
这不是因为它是不道德的或者邪恶的，而是因为伤害人类只是它达成自己目标垫脚石而已，作为一个非道德性的生物，这是它很自然的考量。
人类说：“我们把超人工智能的插头拔了不就行了？”
就好像蜘蛛说：“我们不给人类捉虫的网把人类饿死不就行了？”
一旦超人工智能出现，人类任何试图控制它的行为都是可笑的。人类会用人类的智能级别思考，而超人工智能会用超人工智能级别思考。
当我们结合达成目标、非道德性、以及比人类聪明很多这些条件，好像所有的人工智能都会变成不友善的人工智能，除非一开始的代码写的很小心。
可惜的是，虽然写一个友善的弱人工智能很简单，但是写一个能在变成超人工智能后依然友善的智能确实非常难的，甚至是不可能的。
在智能爆炸之前，人类就像把炸弹当玩具的小孩一样，我们的玩物和我们的不成熟之间有着极大的落差。超级智能是一个我们还很长一段时间内都无法面对的挑战。我们不知道炸弹什么时候会爆炸，哪怕我们能听到炸弹的滴答声。
目前，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。这不乐观。
对于安全性的设定，著名的科幻小说家提出的“机器人学三定律”被称为“现代机器人学的基石。
但是这个定律有个问题没有解决，后来又补充了机器人零定律：
为什么后来要定出这条“零定律”呢？打个比方，为了维持国家或者说世界的整体秩序，我们制定法律，必须要执行一些人的死刑。这种情况下，机器人该不该阻止死刑的执行呢？显然是不允许的，因为这样就破坏了我们维持的秩序，也就是伤害了人类的整体利益。
很多人工智能和机器人领域的技术专家也认同这个准则，随着技术的发展，三定律可能成为未来机器人的安全准则。
新的阿西莫夫的机器人定律为：
第零定律：机器人必须保护人类的整体利益不受伤害。
第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管，除非这违反了机器人学第零定律。
第二定律：机器人必须服从人给予它的命令，当该命令与第零定律或者第一定律冲突时例外。
第三定律：机器人在不违反第零、第一、第二定律的情况下要尽可能保护自己的生存。
但是问题又出来了：
三定律加上零定律，看来堪称完美，但是，“人类的整体利益”这种混沌的概念，连人类自己都搞不明白，更不要说那些用0和1来想问题的机器人了。
威尔•史密斯曾说：“《我，机器人》的中心概念是机器人没有问题，科技本身也不是问题，人类逻辑的极限才是真正的问题。”
蒂姆•厄班说：如果超人工智能真的在本世纪达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。接下来几百万年的人们都静静地看着我们，希望我们不要搞砸。
所以，了解超级人工智能的人把它称为人类的最后一项发明，最后一个挑战。
这就像美剧《权力的游戏》，七国斗来斗去的都不是事儿，北面绝境长城之外的那些异鬼才是事儿。